DoraCloud for Proxmox桌面云上启用NVIDIA Tesla P4的vGPU功能

您所在的位置：网站首页 › 英伟达grid p4显卡 › DoraCloud for Proxmox桌面云上启用NVIDIA Tesla P4的vGPU功能

DoraCloud for Proxmox桌面云上启用NVIDIA Tesla P4的vGPU功能

2023-12-31 02:20| 来源: 网络整理| 查看: 265

Proxmox virtualization environment，简称PVE，是一个开源免费的基于linux的企业级虚拟化方案，功能不输专业收费的VMware。简单的说，PVE是一个基于Debian的linux系统，内置了一套虚拟机管理工具，并提供了web管理页面，让我们可以非常简单的通过网页管理虚拟机。

DoraCloud是一套多平台、一体化、分布式的桌面虚拟化方案。基于开放架构，支持多种虚拟化平台（Hyper-V，VMware，Proxmox，XenServer），多种桌面协议（RDP，PCoIP，SPICE）。采用All-in-One的设计模式和虚拟设备的部署方式。

NVIDIA Tesla P4单精度运算能力将达到5.5FLOPS，每秒可进行22万亿次计算，其拥有2560个流处理器，搭配8GB GDDR5显存。

服务器配置：i7-8700，32G，1TB nvme，配置Tesla P4显卡。

本文描述在服务器上部署 Proxmox、DoraCloud，并创建带有vGPU的虚拟桌面的过程。

1、下载安装Proxmox 5.4.1。

推荐中科大（ USTC）的源下载 ISO，然后使用 rufus 制作启动U盘。

https://mirrors.ustc.edu.cn/proxmox/iso/proxmox-ve_5.4-1.iso

2、修改中科大源，更新 cp /etc/apt/sources.list /etc/apt/sources.list.backup sed -i 's|^deb http://ftp.debian.org|deb https://mirrors.ustc.edu.cn|g' /etc/apt/sources.list sed -i 's|^deb http://security.debian.org|deb https://mirrors.ustc.edu.cn/debian-security|g' /etc/apt/sources.list mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak CODENAME=`cat /etc/os-release |grep PRETTY_NAME |cut -f 2 -d "(" |cut -f 1 -d ")"` echo "deb https://mirrors.ustc.edu.cn/proxmox/debian $CODENAME pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list apt update && apt upgrade -y 3、启用 IOMMU

服务器为Intel 处理器，通过如下脚本启用IOMMU，如果是AMD处理器，配置有差异。

# 复制如下脚本，启用IO-MMU # /etc/default/grub 的GRUB_CMDLINE_LINUX_DEFAULT，增加 intel_iommu=on iommu=pt sed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="quiet"/GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"/g' /etc/default/grub update-grub # 加载 vfio vfio_iommu_type1 vfio_pci vfio_virqfd 4个Modules echo vfio >> /etc/modules echo vfio_iommu_type1 >> /etc/modules echo vfio_pci >> /etc/modules echo vfio_virqfd >> /etc/modules echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf echo "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.conf echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf update-initramfs -u reboot

执行完毕脚本，会自动重启服务器，然后查看日志，确认 IOMMU已经启用。

root@pveserver:~# dmesg | grep -e DMAR -e IOMMU [ 0.000000] ACPI: DMAR 0x0000000079A48648 0000A8 (v01 INTEL EDK2 00000002 01000013) [ 0.000000] DMAR: IOMMU enabled [ 0.004000] DMAR: Host address width 39 [ 0.004000] DMAR: DRHD base: 0x000000fed90000 flags: 0x0 [ 0.004000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e [ 0.004000] DMAR: DRHD base: 0x000000fed91000 flags: 0x1 [ 0.004000] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da 4、安装DKMS 和 NVIDIA 内核驱动程序

#安装 DKMS 依赖包 apt install -y git build-essential pve-headers dkms pve-headers-4.15.18-12-pve #下载nvidia 驱动 wget http://www1.deskpool.com:9000/software/NVIDIA-Linux-x86_64-460.32.03-grid.run wget http://www1.deskpool.com:9000/software/NVIDIA-Linux-x86_64-460.32.04-vgpu-kvm.run chmod +x NVIDIA-Linux-x86_64-460.32.04-vgpu-kvm.run #安装驱动 ./NVIDIA-Linux-x86_64-460.32.04-vgpu-kvm.run -dkms systemctl daemon-reload reboot

系统启动后，检查日志，确认 vgpu 驱动已经启动。

4、部署 DoraCloud

为了验证vGPU效果，我们在Proxmox 上部署DoraCloud。可以采用如下脚本在线安装 DoraCloud

cd /var/lib/vz/dump; wget -qO- https://dl.doracloud.cn/dpinstall.pl --referer https://doracloud.cn | perl

为了启用vGPU，需要进入DoraCloud的Linux 系统，修改配置文件。请登录 DoraCloud VM Linux，账号为 root dora@cloud

在 ~/jy/store.properties 中，增加如下两行，保存。并重启 DoraCloud VM。

server.proxmox.vgpu = true

server.proxmox.hostpci0=01:00.0,mdev=nvidia-63

[root@vdimgr ~]# cat >>~/jy/store.properties server.proxmox.vgpu = true server.proxmox.hostpci0=01:00.0,mdev=nvidia-63 ^Z [1]+ Stopped cat >> ~/jy/store.properties [root@vdimgr ~]# reboot

其中的 nvidia-63 类型，对应 P4-1Q 类型的vGPU。 01:00.0 是P4在Proxmox主机中的设备编号。

在 Proxmox管理界面中，为虚拟机添加PCI Device，可以看到支持mdev的NVIDA P4显卡的设备ID为：01:00.0。

P4显卡支持虚拟显卡类型，可以通过 mdevctl types 命令查看（需要先安装mdevctl工具）。也可以在 Proxmox的Add PCI Device菜单中查看。不过由于Proxmox界面的缺陷，不能看到完整的信息。